Army of None

메모

우크라이나-러시아 전쟁 장기화로 AI의 무기화가 빠르게 진전되고 있음. 전쟁이 없어도 국방 연구는 할텐데 전쟁 중에 진전이 빨라지는 가장 큰 이유는 실제 상황으로부터의 빠른 피드백.

역시 기술 개발엔 두 가지가 중요함을 다시 느낌: 1) 실제 고객으로부터의 데이터, 2) 빠른 피드백 사이클.

Human-in-the-loop vs. Human-on-the-loop: 전자는 의사결정 루프 안에 인간이 들어 있는 것, 후자는 의사 결정 루프가 완전히 자동으로 돌지만 인간이 이를 모니터링하다가 필요한 시점에 개입하는 방식. 후자를 다른 말로는 supervised autonomous라 부름.

전쟁 자동화의 긍정적 면과 부정적 면.

• 긍정: 부수적 피해(예: 민간 피해)가 줄고, 인간이 직접 살상을 하지 않으므로 군인의 정신적 스트레스를 덜 유발
• 부정: 전쟁에서 인간의 개입을 줄고 “차가운 계산”에 의해 살상이 이루어질 경우 인명피해와 폭력이 일상화(normalization)될 가능성이 높아짐.

Project Maven: 2017년 시작된 미국방성 프로젝트. 구글과 협업하여 AI 및 ML을 군사 기술에 적용하려는 시도. 중간에 구글은 해당 프로젝트를 지속하지 않기로 결정. 좀 더 검색해보니 구글 철수 이후에도 프로젝트는 진행 중이며 (역시나) Peter Thiel의 Palantir가 적극 참여 중.

군용 AI 기술은 빠르게 발전 중. 최근엔 AI가 조종하는 F16 전투기 간의 도그파이트 시뮬레이션을 했을 정도. (여기서 말하는 시뮬레이션은 컴퓨터 안에서의 시뮬레이션이 아니라 실제 비행기가 날아다니지만 진짜 전쟁이 아니라는 의미에서의 시뮬레이션)

군사 개념 중 OODA 루프(상황을 관찰하고observe, 정보를 분석한 후orient, 결정하고Decide, 실행하기Act)라는 게 있음. 예를 들어 이 중 관찰, 분석, 실행을 AI로 자동화하면 인간은 결정에 더 많은 시간을 쓸 수 있게 됨.

일반화: 자동화를 할지 말지가 아니라 무엇을 왜 자동화할지 생각해보기.

핵전쟁의 MAD(Mutually Assured Destruction; 상호확증파괴. “네가 핵쓰면 나도 쓸거고 그럼 다 죽음”)처럼 군용 AI에서는 MALoC(Mutually Assured Loss of Control; 상호확증통제상실. “서로 더 빨리 대응하기 위해 자동화를 계속하면 결국 양쪽 모두 인간이 통제력을 상실”) 개념이 존재.

전장에서의 특이점(singularity) 개념을 생각해볼 수 있음. Human-”on”-the-loop 상황에서 AI의 OOAD 속도가 인간의 이해 속도를 넘어서는 시점. 이렇게 되면 인간은 전쟁에 대한 통제력을 사실상 잃게 됨.

교훈: 두루뭉실한 특이점 개념보다 분야별로 특화된 형태의 특이점 개념이 더 유익하겠음.

현재 상황이 계속되면 조만간 마치 주식거래에서 HFT(high-frequency trading)과 유사해질 것. HFT 거래는 1/1000초 차이도 중요하기 때문에 human-in-the-loop가 원칙적으로 불가능. 주식 시장에는 제어 장치(예: circuit breakers)라도 있지만 전쟁에는 그런 것 조차 없다는 게 큰 문제.